Lần sử dụng pháo với đạn đẩy bằng thuốc nổ trên chiến trường đã được ghi lại lần đầu là vào ngày 28 tháng 1 năm 1132 khi tướng Hàn Thế Trung của Nam Tống dùng thang mây và hoả pháo để đánh thành Kiến Châu (nay là Kiến Âu). Loại vũ khí nhỏ thô sơ này đã du nhập vào vùng Trung Đông rồi đến châu Âu vào thế kỷ 13.

Pháo xuất hiện vào khoảng giữa thế kỷ 13. Lịch sử hình thành pháo gắn liền với lịch sử phát minh ra thuốc súng. Những khẩu pháo đầu tiên được chế tạo bằng đồng, nòng nhẵn, bắn đạn bằng đá hoặc bằng gang hình cầu. Ban đầu pháo được dùng để công thành, mở đường tấn công cho bộ binh hoặc kỵ binh.

Đến thế kỷ 15 xuất hiện thêm pháo bắn đạn ria để bảo vệ lực lượng phòng ngự.

Ở thế kỷ 16, pháo bắn đạn sắt đã bắt đầu phổ biến. Đã bắt đầu xuất hiện các khẩu pháo nòng ngắn, đạn đi theo đường cầu vồng và pháo nòng dài đặt trên thuyền chiến.

Sang thế kỷ 17, pháo được sử dụng rộng rãi trong cả tấn công lẫn phòng ngự.

Vào thế kỷ 18, Vallière, người Pháp đã dùng từ cannon để chỉ tất cả những loại súng không xách tay được. Trong giai đoạn này cũng xuất hiện pháo có khương tuyến cho phép bắn xa hơn 2 - 2,5 lần, và chính xác hơn đến 5 lần so với pháo nòng nhẵn.

Đến thế kỷ 19 xuất hiện pháo nạp đạn bằng khoá nòng từ phía sau. Kỹ thuật chế tạo thuốc súng ngày càng tân tiến, với việc chế tạo thuốc súng không khói (1884) trọng lượng đạn pháo đã tăng thêm 20%, vận tốc đầu nòng (sơ tốc đạn) tăng 40%. Đầu thế kỷ 20 xuất hiện thêm nhiều loại pháo mới như pháo cối, pháo lựu, pháo phòng không,...

Trong cuộc Chiến tranh thế giới thứ nhất, 6 cường quốc Áo-Hung, Anh, Đức, Hoa Kỳ, Pháp và Nga đã chế tạo và sử dụng gần 63.000 khẩu pháo các loại trong đó khoảng 50% là lựu pháo. Chiến tranh thế giới thứ hai có nhiều thay đổi đáng kể về chiến thuật, kỹ thuật, trang bị cho nhiều loại pháo. Giai đoạn này đã xuất hiện radar phục vụ việc bắn pháo, xuất hiện pháo tự hành, dàn phóng phản lực, pháo chống tăng,...

Sau Chiến tranh thế giới thứ hai mặc dù xuất hiện tên lửa nhưng pháo vẫn có vai trò vô cùng quan trọng. Sự phát triển của pháo cũng gắn liền với sự phát triển của đạn. Từ năm 1970 đã xuất hiện các loại đạn pháo có điều khiển điển hình là đạn 155 mm Copperhead dùng cho lựu pháo tự hành M110 trong Chiến tranh vùng Vịnh vào năm 1991.

Pháo khác với súng ở chỗ cỡ nòng của pháo lớn hơn nhiều cỡ nòng súng (nòng súng đại liên cỡ lớn là đến 14.5 mm còn nòng pháo cỡ nhỏ nhất cũng đã là 20 mm và loại lớn có thể đến trên 800 mm như là khẩu Gustav) nhưng đặc điểm quan trọng nhất của pháo là đầu đạn pháo có thể nổ để tiêu diệt mục tiêu còn đầu đạn của súng thường không nổ khi bắn vào mục tiêu. Do vậy pháo là hoả lực cơ bản của lục quân.